581. Орлов А.И. Методы проверки однородности связанных выборок. - Журнал «Заводская лаборатория». 2004. Т.70. No.7. С.57-61. 

Ответы на вопросы читателей

От редакции

	Наши читатели Н.Е.Бобров (Тюмень), Н.А.Цейтлин (ФРГ), С.Л.Блюмин (Липецк) и другие, познакомившись с методами проверки однородности независимых выборок (Заводская лаборатория. 2003. Т.69. No.1. С.55-60), просят рассказать о методах проверки однородности связанных выборок. Такие методы необходимы для решения многих прикладных задач. Помещаем консультацию А.И.Орлова по этой тематике.

МЕТОДЫ ПРОВЕРКИ ОДНОРОДНОСТИ СВЯЗАННЫХ ВЫБОРОК
 
А.И.Орлов

	Рассмотрены методы, основанные на изучении разностей соответствующих значений двух связанных выборок. Проверяется равенство 0 медианы (критерий знаков) и математического ожидания этих разностей. Гипотеза проверки совпадения функций распределения двух связанных выборок сводится к гипотезе симметрии функции распределения разностей относительно 0. При альтернативе сдвига предлагается использовать критерий знаковых рангов Вилкоксона, а при общей альтернативе – критерий типа омега-квадрат.

Постановка практической задачи
	Начнем с выдержки из письма главного инженера подмосковного химического комбината (некоторые названия изменены).
	«…Наш комбинат выпускает мастику по ГОСТ (следует номер) и является разработчиком указанного стандарта. В результате исследовательских работ по подбору стандартного метода определения вязкости мастики на комбинате накоплен большой опыт сравнительных данных определения вязкости по двум методам:
	- неразбавленной мастики - на нестандартном приборе фабрики им. Петрова;
	- раствора мастики - на стандартном вискозиметре ВЗ-4.
Просим провести обработку представленных данных современными статистическими методами и выдать заключение о наличии (или отсутствии) зависимости между указанными выше методами определения вязкости мастики. Ваше заключение необходимо для решения спорного вопроса о целесообразности вновь ввести в ГОСТ (следует номер) метода определения вязкости мастики по вискозиметру ВЗ-4, который, по мнению некоторых потребителей, был необоснованно исключен из этого ГОСТ по изменению № 1.
	Приложение: статистика на 3 листах...»
	Комментарий. Вязкость мастики - один из показателей качества мастики. Поставщику и потребителю следует согласовать способы измерения показателей качества. Иначе достаточно часто поставщик (производитель) будет утверждать, что он выполнил условия контракта, а потребитель заявлять, что нет. Простейший метод согласования способов измерения показателей состоит в том, чтобы выбрать один из них и внести в государственный стандарт, который тем самым будет содержать не только описание продукции, перечень ее показателей качества и требований к ним, но и способы измерения этих показателей.
Заключение по данным, представленным химическим комбинатом
	Для каждой из 213 партий мастики представлены два числа - результат измерения вязкости на нестандартном приборе фабрики им. Петрова и результат измерения вязкости на стандартном вискозиметре ВЗ-4. Требуется установить, дают ли два указанных метода сходные результаты. Если они дают сходные результаты, то нет необходимости вводить в соответствующий ГОСТ указание о методе определения вязкости. Если же методы дают существенно различные результаты, то подобное указание ввести необходимо.
	Опишем вероятностную модель. Считаем, что статистические данные имеют вид  где xi  -результат измерения на нестандартном приборе фабрики им. Петрова в i-ой партии, а yi - результат измерения вязкости на стандартном вискозиметре ВЗ-4 в той же i-ой партии. Пусть ai - истинное значение показателя качества в i-ой партии. Естественно считать, что указанные выше случайные вектора независимы в совокупности. При этом они не являются одинаково распределенными, поскольку отличаются истинными значениями показателей качества ai. Принимаем, что при каждом i случайные величины xi - ai  и yi - ai независимы и одинаково распределены. Это условие и означает однородность связанных выборок. Параметры связи - величины ai . Их наличие не позволяет объединить первые координаты в одну выборку, вторую - во вторую, как делалось в случае проверки однородности двух независимых выборок [1].
	В предположении непрерывности функций распределения из условия однородности в связанных выборках вытекает, что 

	Рассмотрим случайные величины  Из последнего соотношения вытекает, что при справедливости гипотезы однородности для связанных выборок эти случайные величины имеют нулевые медианы. Другими словами, вместо проверки того, что методы измерения вязкости дают схожие результаты, можно проверять равенство 0 медиан величин Zi, т.е. проверять следствие гипотезы однородности связанных выборок.
	Для проверки гипотезы о том, что медианы величин Zi нулевые, применим широко известный критерий знаков (см., например, справочник [2, с.89-91]). Согласно этому критерию необходимо подсчитать, в скольких партиях  и в скольких . Для представленных химическим комбинатом данных  в 187 случаях из 213 и  в 26 случаях из 213.
	Если рассматриваемая гипотеза однородности верна, то число W осуществлений события  имеет биномиальное распределение с параметрами p = 1/2 и n = 213. Математическое ожидание М(W)=106,5, а среднее квадратическое отклонение  Следовательно, интервал  - это интервал 84<W<129. Найденное по данным химического комбината значение W=187 лежит далеко вне этого интервала. Поэтому рассматриваемую гипотезу необходимо отвергнуть (на любом используемом в прикладных работах уровне значимости, в частности, на уровне значимости 1%).
	Таким образом, статистический анализ показывает, что два метода измерения вязкости дают существенно различные результаты - по прибору фабрики им. Петрова результаты измерений, как правило, меньше, чем по вискозиметру ВЗ-4. Это означает, что в соответствующий ГОСТ целесообразно ввести указание на метод определения вязкости.
Система вероятностных моделей при проверке 
гипотезы однородности связанных выборок
	Как и в случае проверки однородности независимых выборок [1], система вероятностных моделей состоит из трех уровней. Наиболее простая модель - на уровне однородности альтернативного признака - уже рассмотрена. Она сводится к проверке гипотезы о значении параметра биномиального распределения:

	В этой модели применяют "критерий знаков". При справедливости гипотезы однородности число W осуществлений события  имеет биномиальное распределение с вероятностью успеха p = 1/2 и числом испытаний n. Альтернативная гипотеза состоит в том, что вероятность успеха отличается от 1/2:

Гипотезу p = 1/2 можно проверять как непосредственно с помощью биномиального распределения (используя таблицы или программное обеспечение), так и опираясь на теорему Муавра-Лапласа. Согласно этой теореме 

при всех х, где Ф(х) - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Из теоремы Муавра-Лапласа вытекает правило принятия решений на уровне значимости 5%: если

то гипотезу однородности связанных выборок принимают, в противном случае отклоняют. 
	Замечание. Здесь и далее при желании использовать другой уровень значимости применяют в качестве критического значения иной квантиль нормального распределения. Использование предельных теорем допустимо при достаточно больших объемах выборки. По поводу придания точного смысла термину "достаточно большой" в науке продолжаются дискуссии. Обычно считается, что несколько десятков (два-три десятка) - это уже "достаточно много". Более правильно сказать, что ответ зависит от задачи, от ее сложности и практической значимости. 
	Второй уровень моделей проверки однородности связанных выборок - это уровень проверки однородности характеристик, прежде всего однородности математических ожиданий. Исходные данные - количественные результаты измерений (наблюдений, испытаний, анализов, опытов) двух признаков хj и уj , j = 1,2,…,n, а непосредственно анализируются их разности Zj = хj  - уj , j = 1,2,…,n. Предполагается, что эти разности независимы в совокупности и одинаково распределены, однако функция распределения неизвестна статистику. Необходимо проверить непараметрическую гипотезу

Альтернативная гипотеза также является непараметрической и имеет вид:

Как и в случае проверки гипотезы согласованности для независимых выборок с помощью критерия Крамера-Уэлча, в рассматриваемой ситуации естественно использовать статистику

где

среднее арифметическое разностей, а 

выборочное среднее квадратическое отклонение. Из Центральной Предельной Теоремы теории вероятностей и теорем о наследовании сходимости [3] следует, что

при всех х, где Ф(х) - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Отсюда вытекает правило принятия решений на уровне значимости 5%: если

то гипотезу однородности математических ожиданий связанных выборок принимают, в противном случае отклоняют.  
	Третий уровень моделей проверки однородности связанных выборок - это уровень проверки однородности (совпадения) функций распределения. Необходимо проверить непараметрическую гипотезу наиболее всеохватного вида:

где

При этом предполагается, что все участвующие в вероятностной модели случайные величины независимы (в совокупности) между собой. 
	Отметим одно важное свойство функции распределения случайной величины Z. Если случайные величины Х и Y независимы и одинаково распределены, то для функции распределения H(x)=P(Z<x) случайной величины Z = X – Y выполнено, как нетрудно видеть, соотношение
H(-x)=1-H(x).
	Это соотношение означает симметрию функции распределения относительно 0. Плотность такой функции распределения является четной функцией, ее значения в точках х и (-х) совпадают.
	Итак, проверка гипотезы однородности связанных выборок в наиболее общем случае сводится к проверке симметрии функции распределения разности Z = X – Y относительно 0.
Методы проверки гипотезы симметрии
	Рассмотрим методы проверки гипотезы симметрию функции распределения относительно 0. Начнем с обсуждения различных типов отклонений от гипотезы симметрии можно ожидать при альтернативных гипотезах. 
	Рассмотрим сначала частный случай - альтернативу сдвига

В этом случае для проверки гипотезы однородности может быть использован критерий знаковых рангов Вилкоксона (см., например, справочник [4, с.46-53]). 
	Он строится следующим образом. Пусть R(Zj) является рангом |Zj| в ранжировке от меньшего к большему абсолютных значений разностей |Z1|, |Z2|,…,|Zn|, j=1,2,…,n. Положим для j=1,2,…,n

Статистика критерия знаковых рангов имеет вид

Таким образом, нужно просуммировать ранги положительных разностей в вариационном ряду, построенном стандартным образом по абсолютным величинам всех разностей.
	Для практического использования статистики критерия знаковых рангов Вилкоксона либо обращаются к соответствующим таблицам и программному обеспечению, либо применяют асимптотические соотношения. При выполнении нулевой гипотезы статистика

имеет асимптотическое (при ) стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1. Следовательно, правило принятия решений на уровне значимости 5%: имеет обычный вид: если

то гипотезу однородности связанных выборок по критерию знаковых рангов Вилкоксона принимают, в противном случае отклоняют. 
	Альтернативная гипотеза общего вида записывается как

при некотором х0 . Таким образом, проверке подлежит гипотеза симметрии относительно 0, которую можно переписать в виде
H(x) + H(-x) -1 = 0 .
Для построенной по выборке Zj = хj  - уj , j = 1,2,…,n, эмпирической функции распределения Hn(x) последнее соотношение выполнено лишь приближенно:

Как измерять отличие от 0? По тем же соображениям, что и в статье [1], целесообразно использовать статистику типа омега-квадрат. Соответствующий критерий предложен в работе [5]. Он имеет вид

В работе [5] найдено предельное распределение этой статистики:

В табл.1 приведены асимптотические критические значения рассматриваемой статистики [5], которыми можно пользоваться при объеме выборки n > 20.

Таблица 1. Критические значения статистики .
Значение функции распределения 	Уровень значимости 	Критическое значение х статистики 	
0,90	0,10	1,20	
0,95	0,05	1,66	
0,99	0,01	2,80	

	Как следует из табл.1, правило принятия решений при проверке однородности связанных выборок в наиболее общей постановке и при уровне значимости 5% формулируется так. Вычислить статистику . Если <1,66, то принять гипотезу однородности. В противном случае - отвергнуть.
	Пример. Пусть величины Zj , j=1,2,…,20, таковы:
20, 18, (-2), 34, 25, (-17), 24, 42, 16, 26, 
13, (-23), 35, 21, 19, 8, 27, 11, (-5), 7.
Соответствующий вариационный ряд имеет вид:
(-23)<(-17)<(-5)<(-2)<7<8<11<13<16<18<
<19<20<21<24<25<26<27<34<35<42.
	Для расчета значения статистики  построим табл.2 из 7 столбцов и 20 строк, не считая заголовков столбцов (сказуемого таблицы). В первом столбце указаны номера (ранги) членов вариационного ряда, во втором - сами эти члены, в третьем - значения эмпирической функции распределения при значениях аргумента, совпадающих с членами вариационного ряда. В следующем столбце приведены члены вариационного ряда с обратным знаком, а затем указываются соответствующие значения эмпирической функции распределения. Например, поскольку минимальное наблюдаемое значение равно (-23), то Hn(x)=0 при x<-23, а потому для членов вариационного ряда с 14-го по 20-й в пятом столбце стоит 0. В качестве другого примера рассмотрим минимальный член вариационного ряда, т.е. (-23). Меняя знак, получаем 23. Это число стоит между 13-м и 14-м членами вариационного ряда, 21<23<24. На этом интервале эмпирическая функция распределения совпадает со своим значением в левом конце, поэтому следует записать в пятом столбце значение 0,65. Остальные ячейки пятого столбца заполняются аналогично. На основе третьего и пятого столбцов элементарно заполняется шестой столбец, а затем и седьмой. Остается найти сумму значений, стоящих в седьмом столбце. Подобная таблица удобна как для ручного счета, так и при использовании электронных таблиц типа Excel.

Таблица 2. Расчет значения статистики .
 j	Z(j)	Hn(Z(j))	- Z(j)	Hn(-Z(j))	Hn(Z(j))+
Hn(-Z(j))-1	(Hn(Z(j))+
Hn(-Z(j))-1)2	
1	-23	0,05	23	0,65	-0,30	0,09	
2	-17	0,10	17	0,45	-0,45	0,2025	
3	-5	0,15	5	0,20	-0,65	0,4225	
4	-2	0,20	2	0,20	-0,60	0,36	
5	7	0,25	-7	0,10	-0,65	0,4225	
6	8	0,30	-8	0,10	-0,60	0,36	
7	11	0.35	-11	0,10	-0,55	0,3025	
8	13	0,40	-13	0,10	-0,50	0,25	
9	16	0,45	-16	0,10	-0,45	0,2025	
10	18	0,50	-18	0,05	-0,45	0,2025	
11	19	0,55	-19	0,05	-0,40	0,16	
12	20	0,60	-20	0,05	-0,35	0,1225	
13	21	0,65	-21	0,05	-0,30	0,09	
14	24	0,70	-24	0	-0,30	0,09	
15	25	0,75	-25	0	-0,25	0,0625	
16	26	0,80	-26	0	-0,20	0,04	
17	27	0,85	-27	0	-0,15	0,0225	
18	34	0,90	-34	0	-0,10	0,01	
19	35	0,95	-35	0	-0,05	0,0025	
20	42	1,00	-42	0	0	0	
 
	Результаты расчетов (суммирование значений по седьмому столбцу табл.2) показывают, что значение статистики =3,055. В соответствии с табл.1 это означает, что на любом используемом в прикладных исследованиях уровнях значимости отклоняется гипотеза симметрии распределения относительно 0 (а потому и гипотеза однородности в связанных выборках).

Литература
1. Орлов А.И. // Заводская лаборатория. 2003. Т.69. No.1. С.55-60.
2. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983. - 416 с.
3. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. – 296 с.
4. Холлендер М., Вульф Д. Непараметрические методы статистики. – М.: Финансы и статистика, 1983. - 518 с. 
5. Орлов А.И. // Теория вероятностей и ее применения. 1972. Т.17. No.2. С.372-377.